尽管现在使用自我监督方法构建的计算机视觉模型现在很普遍，但仍然存在一些重要问题。自我监督的模型是否学习高度冗余的频道功能？如果一个自我监督的网络可以动态选择重要的渠道并摆脱不必要的渠道怎么办？目前，与计算机视觉中的有监督的对手相比，通过自我训练预先训练的Convnet在下游任务上获得了可比的性能。但是，有一些自我监督模型的缺点，包括大量参数，计算昂贵的培训策略以及对下游任务更快推断的明确需求。在这项工作中，我们的目标是通过研究如何将用于监督学习的标准渠道选择方法应用于经过自学训练的网络。我们验证我们在一系列目标预算上验证我们的发现$ t_ {d} $，用于跨不同数据集的图像分类任务的频道计算，特别是CIFAR-10，CIFAR-100和IMAGENET-100，获得了与原始网络的可比性性能when selecting all channels but at a significant reduction in computation reported in terms of FLOPs.
translated by 谷歌翻译
当真实数据有限，收集昂贵或由于隐私问题而无法使用时，合成表格数据生成至关重要。但是，生成高质量的合成数据具有挑战性。已经提出了几种基于概率，统计和生成的对抗网络（GAN）方法，用于合成表格数据生成。一旦生成，评估合成数据的质量就非常具有挑战性。文献中已经使用了一些传统指标，但缺乏共同，健壮和单一指标。这使得很难正确比较不同合成表格数据生成方法的有效性。在本文中，我们提出了一种新的通用度量，tabsyndex，以对合成数据进行强有力的评估。 TABSYNDEX通过不同的组件分数评估合成数据与实际数据的相似性，这些分量分数评估了“高质量”合成数据所需的特征。作为单个评分度量，TABSYNDEX也可以用来观察和评估基于神经网络的方法的训练。这将有助于获得更早的见解。此外，我们提出了几种基线模型，用于与现有生成模型对拟议评估度量的比较分析。
translated by 谷歌翻译
现代隐私法规授予公民被产品，服务和公司遗忘的权利。在机器学习（ML）应用程序的情况下，这不仅需要从存储档案中删除数据，而且还需要从ML模型中删除数据。由于对ML应用所需的监管依从性的需求越来越大，因此机器上的学习已成为一个新兴的研究问题。被遗忘的请求的权利是从已训练的ML模型中删除特定集或一类数据的形式的形式。实际考虑因素排除了模型的重新划分，从而减去已删除的数据。现有的少数研究使用了整个培训数据，或一部分培训数据，或者在培训期间存储的一些元数据以更新模型权重进行学习。但是，严格的监管合规性需要时间限制数据。因此，在许多情况下，即使是出于学习目的，也无法访问与培训过程或培训样本有关的数据。因此，我们提出一个问题：是否有可能使用零培训样本实现学习？在本文中，我们介绍了零击机的新问题，即适合极端但实用的方案，在该场景中，零原始数据样本可供使用。然后，我们根据（a）误差最小化最大化噪声和（b）门控知识传递的误差，提出了两种新的解决方案，以零发出的计算机学习。这些方法在保持保留数据上的模型疗效的同时，从模型中删除了忘记数据的信息。零射击方法可以很好地保护模型反转攻击和成员推理攻击。我们引入了新的评估度量，解散指数（AIN），以有效地测量未学习方法的质量。实验显示了在基准视觉数据集中深度学习模型中学习的有希望的结果。
translated by 谷歌翻译
摈弃机器学习（ML）模型的训练过程中观察到的数据是可以强化的基于ML-应用程序的隐私和安全方面发挥了举足轻重的作用的一项重要任务。本文提出了以下问题：（一），我们可以忘掉从ML模型数据的类/类，而在完整的训练数据看哪怕一次？ （二）我们可以忘却快速和可扩展到大型数据集的过程，它推广到不同的深网络？我们引入错误最大化噪音的产生，损害修复基于重量操纵新机器忘却的框架，提供了一个有效的解决方案对上述问题。错误最大化的噪声矩阵学习了使用原始模型的不精通类。噪声矩阵用于操纵模型的权重忘却目标类的数据。我们引入了网络权的控制操作IMPAIR和修复步骤。在步骤IMPAIR，具有非常高的学习速率沿所述噪声矩阵被用于诱导尖锐忘却在模型中。此后，将修步骤用于重新获得的整体性能。除了极少数的更新步骤中，我们表现出优异的忘却，同时基本上保留了整个模型的准确性。摈弃多个类需要作为单独的类类似的更新的步数，使得我们的方法扩展到大的问题。我们的方法是相比于现有的方法非常有效，适用于多类忘却，不把任何约束的原始优化机制或网络设计，以及小型和大型视觉任务效果很好。这项工作是实现快速和容易实现在深网络忘却的重要一步。我们将源代码公开。
translated by 谷歌翻译
基于模糊规则的系统（FRBS）是一个基于规则的系统，它使用语言模糊变量作为前身，因此代表人类可理解的知识。它们已应用于整个文献的各种应用和领域。但是，FRBS遭受了许多缺点，例如不确定性表示，大量规则，解释性损失，学习时间高的计算时间等，以克服FRBS的这些问题，存在许多范围的FRBS。在本文中，我们介绍了模糊系统（FRBS）的各种类型和突出领域的概述和文献综述，即遗传模糊系统（GFS），层次结构模糊系统（HFS），Neuro Fuzzy System（NFS），不断发展的模糊系统（EFS）（EFS）（EFS） ），在2010 - 2021年期间，用于大数据的FRBS，用于数据不平衡数据的FRBS，用于不平衡数据的FRBS，用于使用集群质心作为模糊规则的FRB和FRBS。 GFS使用遗传/进化方法来提高FRBS的学习能力，HFS解决了FRBS的尺寸诅咒，NFS在EFS中考虑使用神经网络和动态系统来提高FRBS的近似能力，并且在EFS中考虑了动态系统。 FRBs被视为大数据和不平衡数据的好解决方案，近年来，由于高维度和大数据和规则，使用集群质心来限制FRBS中的规则数量，因此FRBS的可解释性已受欢迎。本文还强调了该领域的重要贡献，出版统计和当前趋势。该论文还涉及几个需要从FRBS研究社区进一步关注的开放研究领域。
translated by 谷歌翻译
我们首次建议使用基于多个实例学习的无卷积变压器模型，称为多个实例神经图像变压器（Minit），以分类T1Weighted（T1W）MRIS。我们首先介绍了为神经图像采用的几种变压器模型。这些模型从输入体积提取非重叠的3D块，并对其线性投影进行多头自我注意。另一方面，Minit将输入MRI的每个非重叠的3D块视为其自己的实例，将其进一步分为非重叠的3D贴片，并在其上计算了多头自我注意力。作为概念验证，我们通过训练模型来评估模型的功效，以确定两个公共数据集的T1W-MRIS：青少年脑认知发展（ABCD）和青少年酒精和神经发展联盟（NCANDA）（NCANDA） 。博学的注意力图突出了有助于识别脑形态计量学性别差异的体素。该代码可在https://github.com/singlaayush/minit上找到。
translated by 谷歌翻译
Neural 3D implicit representations learn priors that are useful for diverse applications, such as single- or multiple-view 3D reconstruction. A major downside of existing approaches while rendering an image is that they require evaluating the network multiple times per camera ray so that the high computational time forms a bottleneck for downstream applications. We address this problem by introducing a novel neural scene representation that we call the directional distance function (DDF). To this end, we learn a signed distance function (SDF) along with our DDF model to represent a class of shapes. Specifically, our DDF is defined on the unit sphere and predicts the distance to the surface along any given direction. Therefore, our DDF allows rendering images with just a single network evaluation per camera ray. Based on our DDF, we present a novel fast algorithm (FIRe) to reconstruct 3D shapes given a posed depth map. We evaluate our proposed method on 3D reconstruction from single-view depth images, where we empirically show that our algorithm reconstructs 3D shapes more accurately and it is more than 15 times faster (per iteration) than competing methods.
translated by 谷歌翻译
与痴呆症相关的认知障碍（CI）在全球范围内影响超过5500万人，并且每3秒钟以一个新病例的速度迅速增长。随着临床试验反复出现的失败，早期诊断至关重要，但是在低水平和中等收入国家中，全球75％的痴呆症病例未被诊断为90％。众所周知，当前的诊断方法是复杂的，涉及对医学笔记，大量认知测试，昂贵的脑部扫描或脊柱液体测试的手动审查。与CI相关的信息经常在电子健康记录（EHR）中找到，并且可以为早期诊断提供重要线索，但是专家的手动审查是繁琐的，并且容易发生。该项目开发了一种新型的最新自动筛选管道，用于可扩展和高速发现EHR中的CI。为了了解EHR中复杂语言结构的语言环境，构建了一个8,656个序列的数据库，以训练基于注意力的深度学习自然语言处理模型以对序列进行分类。使用序列级别分类器开发了基于逻辑回归的患者级别预测模型。深度学习系统的精度达到了93％，AUC = 0.98，以识别其EHR中没有较早诊断，与痴呆有关的诊断代码或与痴呆有关的药物的患者。否则，这些患者将未被发现或检测到太晚。 EHR筛选管道已部署在Neurahealthnlp中，这是一种用于自动化和实时CI筛选的Web应用程序，只需将EHR上传到浏览器中即可。 Neurahealthnlp更便宜，更快，更容易获得，并且胜过当前的临床方法，包括基于文本的分析和机器学习方法。它使得早期诊断可在稀缺的医疗服务中可行，但可访问的互联网或蜂窝服务。
translated by 谷歌翻译
痴呆症是一种神经退行性疾病，导致认知下降，并影响全世界超过5000万人。痴呆症是由医疗保健专业人士诊断的 - 只有患有痴呆症的四个人中只有一名诊断出来。即使制造诊断，也可能无法作为患者图表中的疾病（ICD）诊断码的结构化国际分类。与认知障碍（CI）有关的信息通常在电子健康记录（EHR）中发现，但专家临床医生票据的手工审查既耗时，往往容易出错。本票据的自动化挖掘为在EHR数据中标记有认知障碍患者的机会。我们开发了自然语言处理（NLP）工具，以识别具有认知障碍的患者，并证明语言背景提高了认知障碍分类任务的性能。我们微调我们的注意力深入学习模型，可以从复杂的语言结构中学习，并且相对于基线NLP模型的精度（0.93）大大提高（0.84）。此外，我们表明深度学习NLP可以成功识别没有痴呆相关的ICD代码或药物的痴呆症患者。
translated by 谷歌翻译
Designing experiments often requires balancing between learning about the true treatment effects and earning from allocating more samples to the superior treatment. While optimal algorithms for the Multi-Armed Bandit Problem (MABP) provide allocation policies that optimally balance learning and earning, they tend to be computationally expensive. The Gittins Index (GI) is a solution to the MABP that can simultaneously attain optimality and computationally efficiency goals, and it has been recently used in experiments with Bernoulli and Gaussian rewards. For the first time, we present a modification of the GI rule that can be used in experiments with exponentially-distributed rewards. We report its performance in simulated 2- armed and 3-armed experiments. Compared to traditional non-adaptive designs, our novel GI modified design shows operating characteristics comparable in learning (e.g. statistical power) but substantially better in earning (e.g. direct benefits). This illustrates the potential that designs using a GI approach to allocate participants have to improve participant benefits, increase efficiencies, and reduce experimental costs in adaptive multi-armed experiments with exponential rewards.
translated by 谷歌翻译